#diffusion language model

3 篇

Large Flow Language Models

大规模流语言模型：连续流实现并行生成与自推测加速

🧭 连续流语言模型 · 块并行解码加速

UC Berkeley · Amazon · KAIST · Carnegie Mellon University

Lafa 8B 连续流语言模型用 <30B token 训练达到 AR 质量，并以自推测解码实现 2.54 倍吞吐

📌 工作参考价值（4 点）

连续流语言模型可直接适配预训练 AR 模型，只用不到 30B token 训练即可达到匹配或更好的指令跟随/推理/编码质量，对业务中已有 LLM 的低成本改造有参考价值；在搜索 query 生成、广告文案生成等高吞吐场景，可将 AR 模型转为流式并行解码。
自推测解码方案用同一模型生成流式草稿并自回归验证，无需额外 draft 模型，相较 multi-token prediction 和离散扩散方法吞吐提升显著（2.54 倍），可直接用于线上推理降本。
blockwise 流建模 + prefix caching + 块并行解码的组合可以作为工程参考：前缀因果注意力保证与 AR 的兼容性，块内双向异步流提升并行度，适合生成式推荐的 prompt 长、重复前缀多的场景。
流训练带来的 multi-token prediction 效应能保留甚至提升预训练 AR 能力，说明可以在业务微调阶段引入流训练做能力增强，而不只是推理加速。

LLM | 2026-10-19 | HF Daily | score 7/10

掩码感知策略梯度：面向扩散语言模型的强化学习

🧭 扩散语言模型 · 强化学习训练

The University of Texas at Austin

将扩散语言模型生成分解为“选词”与“选位置”两步，策略梯度自然拆分成两项，联合优化在数学与代码推理上达到SOTA

📌 工作参考价值（4 点）

对电商/推荐中使用非自回归生成（如扩散模型生成商品序列或文案）有直接啓发：可将生成过程建模为两阶段 MDP——“生成什么 token”与“在哪些位置生成”，分离梯度后能更稳定地优化序列质量。
在 Agent 多步决策场景，如果动作包含“执行什么操作”和“在哪个目标上执行”，可借鉴本工作的动作空间分解，用对应的 mask 策略网络显式建模顺序决策，提升复杂任务表现。
工程实现上，可对现有 GRPO/PPO 等 RL 训练框架做简单改造：在计算每步 log 概率时，将 token 预测的 log-prob 与 mask 选择的 log-prob 相加，同时优化两个头，无需大幅改动训练管线。
该方法表明扩散生成的去掩码顺序严重影響效果，在线 RL 训练时联合学习生成顺序，比固定随机顺序有明显的增益（GSM8K 提升+2.5%），这提示我们在生成式推荐中，如果采用逐步生成，也应将生成顺序作为可学习策略，而非预定义。

LLM | 2026-07-16 | cs.LG | score 7/10

dOPSD：基于去噪轨迹自蒸馏的扩散语言模型训练方法

🧭 扩散语言模型 · 在线策略自蒸馏 ★ 深度解读

National University of Singapore

将去噪轨迹的后续步骤作为特权信息进行在线自蒸馏，提升扩散语言模型的推理与泛化能力

📌 工作参考价值（4 点）

为生成式推荐中的扩散模型提供训练思路：若采用扩散模型生成Semantic ID或物品序列，可将解码轨迹的后续更“确信”状态作为教师信号，在掩码位置进行蒸馏，无须外部标注，实现纯在线自蒸馏，缓解曝光偏差。
通用在线蒸馏技巧：学生状态取随机真实解码步（非随机掩码完成序列），保证训练分布与推理一致。前向KL做主散度比反向KL更有效，因为可覆盖教师分布全貌，针对序列生成任务可优先选用。
无标注场景也可用：即使没有答案验证器，只从所有rollout中蒸馏仍能带来提升；验证器仅用于进一步筛选正确轨迹，可显著增加收益，但非强制，适用于推荐中缺乏强监督信号的情形。
可迁移至Agent动作序列训练：若将Agent行为建模为掩码序列去噪过程，可利用轨迹内后续步骤呈现的“全局视野”对早期动作提供弱监督指导，无需外部环境奖励或标注。

Training | 2026-07-04 | HF Daily | score 8/10